Masjid Old Gang Bengkok dianggarkan dibina pada tahun 1874. Bangunan masjid itu berdiri di atas tanah wakaf daripada Haji Muhammad Ali, atau lebih dikenali sebagai Datuk Kesawan. Semasa proses pembinaan, Tjong A Fie, seorang saudagar Cina yang berpindah dari China ke kota Medan pada awal abad ke-19, beliau menguruskan sendiri keseluruhan pembinaan masjid tersebut.[petikan diperlukan]

Sebelum ini, Masjid Al-Osmani merupakan masjid tertua di kota Medan, diasaskan pada tahun 1854. Kemudian 20 tahun kemudian, terbinalah masjid Gang Bengkok yang juga mempunyai sejarah antara orang Melayu dan orang Cina.[petikan diperlukan]

Tepatnya masjid Old Gang Bengkok diasaskan pada tahun 1874. Ia mempunyai nama yang pelik kerana pada awal pembinaannya berada di lorong yang sempit. Kemudian ada selekoh atau selekoh betul-betul di hadapan masjid. Ditambah pula dengan nama masjid yang tidak pernah diberi nama rasmi, masjid tersebut dinamakan masjid Old Gang Bengkok. Pengasas masjid Gang Bengkok ialah Sultan Deli yang juga tidak memberikan nama rasmi kepada masjid tersebut sehingga masyarakat sekitar sekitar Kesawan menamakannya Masjid Lama Gang Bengkok.[2]